Weinige gemeenten in België weten hun gemeente-bestuur te huisvesten in een kasteel. De gemeenteraad van Hoeilaart besliste op 17 september 1919 het kasteel, dat toebehoorde aan de adellijke familie de Man, aan te kopen met als doel het te hervormen tot gemeentehuis.
Op deze plaats stond vroeger het uit de 15de eeuw daterende kasteel van de heerlijkheid Terheide. Dit landgoed werd door baron Jozef de Man d'Hobruge, burgemeester van Hoeilaart van 1823 tot 1846 en van 1848 tot 1854, aangekocht in 1820. Zijn zoon, baron Jean de Man d'Attenrode, burgemeester van Hoeilaart van 1854 tot 1878, liet in het begin van de jaren 1850 het kasteel van de heerlijkheid Terheide afbreken en vervangen door het huidige kasteel. Jozef Claes is de architect die het Hoeilaartse kasteel in 1858 ontwierp in neogotische stijl, meer bepaald neo-Tudorstijl. De familie de Man verbleef te Hoeilaart tot 1919.
Wanneer Maxime de Laage de la Rocheterie en zijn echtgenote, afstammelingen van de voormalige barones, het kasteel verkocht aan het gemeentebestuur van Hoeilaart was dit blijkbaar omdat het onderhoud ervan zwaar begon te wegen. De renovatie van het kasteel, zowel aan de binnenkant als aan de buitenkant, werd voor een groot deel uitgevoerd door het gemeentepersoneel en afgerond in de loop van 1995.